Mohamad Rahmat menjadi ahli UMNO (Baru) dengan no 00000003. Beliau menyertai UMNO sejak 1963 dan terpilih menjadi ahli parlimen Johor Baru Barat dalam Pilihan Raya Umum Malaysia 1969. Kawasan ini diberi nama baru 'Pulai' pada 1974.

Mohamad Rahmat bertanding di parlimen Pulai atas tiket Barisan Nasional pada tahun 1978. Ketika itu Perdana Menteri Malaysia ialah Dato Hussein Onn - juga orang Johor . Di atas kejayaan besar UMNO Johor meraih undi , maka Mohamed Rahmat telah dilantik sebagai Menteri Penerangan Malaysia (1978-1982). Ketika ini Kelantan yang diperintah oleh PAS berjaya dirampas oleh UMNO melalui Mageran Kelantan 1978. Difahamkan Mohamad Rahmat telah menghanrar 200 petugas ke Kelantan bagi menerangkan kebaikan dan kelebihan Kelantan jika menyertai Barisan Nasional.

Beliau pernah menjadi Ketua Pergerakan Pemuda UMNO. Atas kapasiti sebagai Menteri Penerangan, beliau juga dilantik sebagai Setiausaha Agung UMNO dan Setiausaha Agung Barisan Nasional.

Dalam kerajaan , beliau menjadi Menteri Penerangan Malaysia dua kali kerana mempunyai kebolehan mempengaruhi pendengar. Beliau menjadi Menteri Penerangan dari 1978-1982 iaitu semasa Dato Hussein Onn menjadi Perdana Menteri Malaysia. Apabila Tun Dr Mahathir Mohamad menjadi Perdana Menteri, jawatan itu diserahkan kepada Dato' Seri Mohd Adib bin Mohamad Adam dari Melaka. Mohamed Rahmat dilantik sebagai Duta berstatus menteri ke Jakarta, Indonesia pada 1982.

Mohamad Rahmat dilantik semula sebagai Menteri Penerangan dari tahun 1987-1999 kerana kesetiaan beliau terhadap Tun Dr Mahathir Mohamad. Pengunduran Musa Hitam sebagai Timbalan Perdana Menteri Malaysia dari Johor pada 1986, diisi oleh Mohamed Rahmat. Dengan perlantikan itu, politik Johor dan sokongan Johor kembali stabil.

Mohamed Rahmat adalah alternatif kepada pemimpin UMNO yang 'berpaling-tadah' seperti Dato' Shahrir Samad. Namun Shahrir Samad masih menang dalam Pilihan raya kecil Johor Bharu. Beberapa pemimpin Johor menyertai Team B yang memihak kepada Tengku Razaleigh Hamzah. Tetapi Mohamad Rahmat terus setia kepada dalam Team A . Pendaftaran UMNO dibatalkan dan menyebabkan UMNO menjadi parti haram. Dengan itu juga pengerusi Barisan Nasional terpaksa diserahkan kepada Presiden MCA iaitu Dato' Ling Liong Sik. Apabila UMNO Baru berjaya didaftarkan semula, Mohamad Rahmat menjadi Setiausaha Agung Sementara pada 16 Februari 1988. [4] UMNO berjaya dipulihkan dan diyakini rakyat. Perkataan 'Baru' pada UMNO berjaya dibuang . Kelab UMNO luar negara telah ditubuhkan bagi menarik sokongan pelajar luar negara. Pada 19 Januari 1994, Kelab UMNO Surabaya, Indonesia dirasmikan oleh Dato' Mohamad Rahmat.